
 
 
 
 
 
 
 
 
 
 Ny mpanoratra: (1) Vishaal Udandarao, Tubingen AI Center, University of Tubingen, University of Cambridge, ary tombontsoa mitovy; (2) Ameya Prabhu, Tubingen AI Center, University of Tubingen, University of Oxford, ary tombontsoa mitovy; (3) Adhiraj Ghosh, Tubingen AI Center, University of Tubingen; (4) Yash Sharma, Tubingen AI Center, University of Tubingen; Philip H.S. Torr, Oniversiten'i Oxford (6) Adel Bibi, University of Oxford; (7) Samuel Albanie, University of Cambridge sy mifanaraka amin'ny torohevitra, manapa-kevitra amin'ny alalan'ny flip vola; (8) Matthias Bethge, Tubingen AI Center, University of Tubingen sy mifanaraka amin'ny torohevitra, manapa-kevitra amin'ny alalan'ny flip vola. Authors: (1) Vishaal Udandarao, Tubingen AI Center, University of Tubingen, University of Cambridge, ary tombontsoa mitovy; (2) Ameya Prabhu, Tubingen AI Center, University of Tubingen, University of Oxford, ary tombontsoa mitovy; (3) Adhiraj Ghosh, Tubingen AI Center, University of Tubingen; (4) Yash Sharma, Tubingen AI Center, University of Tubingen; Philip H.S. Torr, Oniversiten'i Oxford (6) Adel Bibi, University of Oxford; (7) Samuel Albanie, University of Cambridge sy mifanaraka amin'ny torohevitra, manapa-kevitra amin'ny alalan'ny flip vola; (8) Matthias Bethge, Tubingen AI Center, University of Tubingen sy mifanaraka amin'ny torohevitra, manapa-kevitra amin'ny alalan'ny flip vola. Ny toeranao ery amin'ny ankavia Abstract sy fampidirana 1. 2 Fikambanana ao amin'ny fampiofanana ny angon-drakitra sy ny fanombanana ny fahasamihafana 3 Mifanaraka amin'ny fampiofanana fampiroboroboana sy ny fampisehoana "Zero-Shot" ary ny fametrahana fanandramana 3.1 3.2 Ny vokatra: Ny faharetan'ny fampiofanana dia manambara ny fampisehoana "Zero-Shot" 4 Stress-Testing ny Concept Frequency-Performance Scaling Trend sy 4.1 fanaraha-maso ho an'ny marika mitovy amin'ny fampiofanana sy ny Downstream Data 4.2 Fanandramana Generalization ho an'ny Synthetic Concept sy ny Data Distribution 5 Fahatsapana fanampiny avy amin'ny fampiofanana fampiroboroboana fampiroboroboana 6 Ny fanandramana ny faritany: Aoka izany handresy! 7 Ny asa mifandraika amin'izany 8 Fitsarana sy olana misokatra, fankatoavana sy fanehoan-kevitra Part I Appendix A. Ny fahasamihafana dia manambara ny vokatra amin'ny alalan'ny sehatra fampiroboroboana B. Ny fahasamihafana no manambara ny fahombiazan'ny fampisehoana amin'ny metrik'ny fikarohana C. Ny fahasamihafana no manambara ny fampisehoana ho an'ny modely T2I D. Concept Frequency dia Predictive ny fampisehoana eo amin'ny hevitra avy amin'ny sary sy ny lahatsoratra sehatra ihany E. Ny antsipirihany fanandramana Nahoana ary ahoana no mampiasa ny RAM +? G. Ny antsipirihany momba ny valin'ny disalignment H. T2I Modely: Ny fanombanana I. Ny vokatra amin'ny famaritana: Aoka ho voafehy izany! Ny Abstract Ny tahirin-kevitra momba ny fampiofanana mialoha amin'ny tranonkala dia mifototra amin'ny fanombanana "zero-shot" mahatalanjona amin'ny modely multimodal, toy ny CLIP ho an'ny famaritana / famerenana sy ny Stable-Diffusion ho an'ny famokarana sary. Izany dia ho an'ny modely multimodal toy izany, satria tsy fantatra ny habetsaky ny datasets mialoha ny fampiofanana dia ahitana ny dikan-teny etsy ambony natao nandritra ny fanombanana "zero-shot". Ny famoahana Ahoana no fiantraikany amin'ny fampisehoana ny modely multimodal amin'ny tsiambaratelo etsy ambony amin'ny fampisehoana ireo tsiambaratelo ireo ao amin'ny dataset mialoha ny fampiofanana? Izahay manara-maso tanteraka ity fanontaniana ity amin'ny 34 modely sy dimy fitsipika pre-training datasets (CC-3M, CC-12M, YFCC-15M, LAION-400M, LAION-Aesthetics), mamokatra mihoatra ny 300GB ny angon-drakitra artefacts. Manamarika foana fa, lavitra ny mampiseho ny "zero-shot" fanitarana, multimodal modely mitaky bebe kokoa ny angon-drakitra mba hahatratrarana ny linear fanatsarana ao amin'ny downstream "zero-shot" vokatra, taorian'ny sample tsy mahomby log-linear fanitarana trend. Ity fitomboana ity dia mitohy na dia amin'ny fanaraha-maso ny sample-level fahasamihafana eo amin' Amin'ny alalan'ny fanadihadiana, ny fanadihadiana dia mampiseho ny ilain'ny fampiofanana angon-drakitra izay midika fa ny fanalahidy ho an'ny fahaiza-manaon'ny "zero-shot" ao anatin'ny paradigma fampiofanana lehibe dia mbola tsy hita. Avelao ho voafehy izany! 1 Ny fampidirana Ny modely multimodaly toy ny CLIP [91] sy ny Stable Diffusion [96] dia nanao revolisiona amin'ny fampisehoana amin'ny andraikitra etsy ambany - CLIP dia ankehitriny ny fitsipika de facto ho an'ny fahalalana sary "zero-shot" [133, 72, 126, 48, 132] sy ny famerenana sary lahatsoratra [46, 64, 24, 117, 129], raha ny Stable Diffusion dia ankehitriny ny fitsipika de facto ho an'ny taranja "zero-shot" text-to-image (T2I) [93, 17, 96, 41]. Moa ve ny modely multimodaly amin'izao fotoana izao dia mahavita tena ny fanitarana “zero-shot”? Mba hanatanterahana izany, dia nanatanteraka fanadihadiana mifandraika amin'ny antony roa fototra izahay: (1) ny fampisehoana ny modely amin'ny asa maro samihafa etsy ambany ary (2) ny faharetan'ny fanandramana hevitra ao anatin'ny daty fampiofanana azy ireo. Nanangona lisitra feno momba ny 4, 029 hevitra[1] avy amin'ny asa 27 etsy ambany izay ahitana ny famaritana, ny famerenana sy ny famokarana sary, ary ny fanombanana ny fampisehoana eo amin'ireo hevitra ireo. Ny fanadihadiana dia ahitana tahiry dimy lehibe mialoha ny fampiofanana amin'ny sehatra samihafa, ny fomba fanadiovana angona ary ny loharano (CC-3M [107], CC-12M [27], YFCC-15M [113], LAION   Fantatsika fa ity tendrombelon'ny log-linear ity dia mahery vaika amin'ny fanaraha-maso ny antony mifandray (anisan'izany ny sampana amin'ny fampiofanana sy ny fanandramana angon-drakitra [79]) ary ny fanandramana amin'ny fampielezan-kevitra samihafa miaraka amin'ny sampana nateraky tanteraka [51]. modely fanatanjahantena amin'ny endriky ny linearity rehefa mitombo amin'ny endriky ny fahasamihafana eo amin'ny pretraining angon-drakitra Izany dia modely fanatanjahantena amin'ny endriky ny linearity rehefa mitombo amin'ny endriky ny fahasamihafana eo amin'ny pretraining angon-drakitra Ny vokatr'izy ireo dia mampiseho fa ny fampisehoana mahatalanjona empirical ny modely multimodal toy ny CLIP sy ny Stable Diffusion dia azo ampiharina amin'ny ankapobeny amin'ny fisian'ny hevitra fitsapana ao anatin'ny tahirin-kevitra fampiofanana avo lenta, ka noho izany ny fampisehoana empirika voalazan'izy ireo dia tsy mahatonga ny "zero-shot" fanitarana. Ao amin'ny fanadihadiana, dia manaporofo ihany koa ny fampielezan-kevitra hita ao amin'ny angon-drakitra mialoha ny fampiofanana ary mahita fa: Ao amin'ny tahirin-kevitra rehetra mialoha ny fampiofanana, ny fandaharan'ny hevitra dia lava (jereo sary 5 ao amin'ny fizarana 5), izay mampiseho fa ny ampahany lehibe amin'ireo hevitra dia tsy mahazatra. • Concept Distribution: Ny fametrahana ny hevitra eo amin'ny tahirin-kevitra mialoha fampiofanana samihafa dia mifandray mafy (jereo ny Tab. 4 ao amin'ny Sec. 5), izay midika fa ny tranonkala crawl dia miteraka mahagaga mitovy hevitra fametrahana eo amin'ny tahirin-kevitra samihafa fampiofanana fampiofanana fampiofanana fampiofanana, izay mitaky mazava fanamafisana ezaka [11, 125]. • Concept Correlation across Pretraining Datasets: Ny hevitra matetika dia hita ao amin'ny modely iray fa tsy amin'ny hafa, izay miteraka fahasamihafana goavana (jereo ny Tab. 3 ao amin'ny Sec. 5). Ny angon-drakitra navoakanay dia afaka manampy amin'ny fanamafisana ny ezaka fanamafisana ny sary sy ny lahatsoratra amin'ny habeny amin'ny alàlan'ny famantarana marina ny ohatra amin'ny modely tsy mifanaraka. • Image-Text Misalignment between Concepts in Pretraining Data: Mba hanomezana tsipiriany tsotra amin'ny fampiroboroboana ny vokatra ho an'ny modely multimodal, izay mifehy ny fahasamihafana ny hevitra ao amin'ny fampiofanana, dia manolotra dataset vaovao amin'ny lafiny lava antsoina hoe Ny modely amin'izao fotoana izao izay nianatra amin'ny angon-drakitra malalaka (ohatra, LAION-2B [103], DataComp-1B [46]) ary ny angon-drakitra voafetra (ohatra, OpenAI-WIT [91], WebLI [29])) dia manana fiakarana lehibe amin'ny fampisehoana, manome porofo fa ny fanandramantsika dia mety handefa ho amin'ny angon-drakitra voafetra ihany koa. “Aoka ho voafehy izany!” Ny vokatra sasany teo aloha [91, 46, 82, 42, 83, 74] dia nanadihady ny anjara andraikitry ny angon-drakitra mialoha ny fampiofanana amin'ny fiantraikany amin'ny vokatra. Mayilvahanan et al. [79] naneho fa ny vokatra CLIP dia mifandray amin'ny fahasamihafana eo amin'ny fampiofanana sy ny fitsapana angon-drakitra. Ao amin'ny fanadihadiana hafa momba ny sehatra manokana toy ny fanontaniana valiny [62] sy ny antony nomerika [94] ao amin'ny modely fiteny lehibe, ny fahasamihafana amin'ny fanadinana fitaovana avo lenta dia tsy mandinika tanteraka ny fahombiazan'ny fampiofanana [127]. Ny fanadihadiana tanteraka amin'ny 
 
 Ity lahatsoratra ity dia azo jerena ao amin'ny archiv amin'ny lisansa CC BY 4.0 DEED. Ity lahatsoratra ity dia Miaraka amin'ny lisansa CC BY 4.0 DEED. available on arxiv Azo jerena ao amin'ny Archive [1] ny sokajy ho an'ny asa famaritana, ny lohahevitra ao amin'ny lohatenin'ny lahatsoratra ho an'ny asa fikarohana, ary ny lohahevitra ao amin'ny lohatenin'ny lahatsoratra ho an'ny asa famokarana, jereo ny fizarana 2 ho an'ny antsipiriany bebe kokoa momba ny fomba famaritana ny foto-kevitra.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

FEW SHOT .tech

Ity horonam-peo ity dia novokarina tamin'ny fiteny niandohan'ny tantara!

Inona 300GB ny fikarohana AI dia maneho momba ny fetran'ny "Zero-Shot" Intelligence

About Author

COMMENTS

HANG TAGS

ITY ARTICLE ITY NO NARESAKA TAMIN'NY

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps